禁止搜索引擎抓取后會有什么效果呢？給大家發(fā)張禁止搜索引擎抓取網(wǎng)站的搜索結(jié)果截圖：大家可以看到，描述沒有被抓取昆山網(wǎng)站制作到，而是有句提示：由于該網(wǎng)站的robots.txt文件存在限制指令（限制搜索引擎抓取）。

系統(tǒng)無法提供該頁面的內(nèi)容描述所以禁止搜索引擎收錄其實是通過robots.txt文件來控制的百度官方對robots昆山網(wǎng)站制作.txt的解釋是這樣的：Robots是站點與spider溝通的重要渠道，站點通過robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

9月11日，百度搜索robots全昆山網(wǎng)站制作新升級。升級后robots將優(yōu)化對網(wǎng)站視頻URL收錄抓取情況。僅當您的網(wǎng)站包含不希望被視頻搜索引擎收錄的內(nèi)容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立rob昆山網(wǎng)站制作ots.txt文件。

如您的網(wǎng)站未設置robots協(xié)議，百度搜索對網(wǎng)站視頻URL的收錄將包含視頻播放頁URL,及頁面中的視頻文件、視頻周邊文本等信息，搜索對已收錄的短視頻資源將對用戶呈現(xiàn)為視頻極速體驗頁昆山網(wǎng)站制作。此外，綜藝影視類長視頻，搜索引擎僅收錄頁面URL.